home *** CD-ROM | disk | FTP | other *** search
/ PC World 2007 June / PCWorld_2007-06_cd.bin / temacd / wikipad / WikidPad-1.9beta2.exe / {app} / extensions / WikiSyntax.py < prev   
Text File  |  2007-02-24  |  11KB  |  260 lines
  1. import locale
  2. import string
  3.  
  4. import pwiki.srePersistent as re
  5. from pwiki.StringOps import mbcsDec
  6.  
  7. locale.setlocale(locale.LC_ALL, '')
  8.  
  9.  
  10. # String containing the delimiter between the title of a wiki word (to show in
  11. # HTML and the real word, as e.g. [title | WikiWord]
  12. TitleWikiWordDelimiter = ur"|"
  13.  
  14. # Same, escaped for regular expression
  15. TitleWikiWordDelimiterPAT = ur"\|"
  16.  
  17.  
  18. PlainCharacterPAT = ur"(?:[^\\]|\\.)"
  19.  
  20. PlainEscapedCharacterRE = re.compile(ur"\\(.)",
  21.         re.DOTALL | re.UNICODE | re.MULTILINE)
  22.  
  23. # PlainCharactersRE = re.compile(PlainCharacterPAT + "+",
  24. #         re.DOTALL | re.UNICODE | re.MULTILINE)
  25.  
  26.  
  27. # basic formatting
  28. BoldRE          = re.compile(ur"\*(?=\S)(?P<boldContent>" + PlainCharacterPAT +
  29.         ur"+?)\*",
  30.         re.DOTALL | re.UNICODE | re.MULTILINE)
  31. ItalicRE        = re.compile(ur"\b_(?P<italicContent>" + PlainCharacterPAT +
  32.         ur"+?)_\b",
  33.         re.DOTALL | re.UNICODE | re.MULTILINE)
  34. HtmlTagRE = re.compile(
  35.         ur"</?[A-Za-z][A-Za-z0-9]*(?:/| [^\n>]*)?>",
  36.         re.DOTALL | re.UNICODE | re.MULTILINE)
  37. Heading4RE      = re.compile(u"^\\+\\+\\+\\+(?!\\+) ?(?P<h4Content>" +
  38.         PlainCharacterPAT + ur"+?)\n",
  39.         re.DOTALL | re.UNICODE | re.MULTILINE)
  40. Heading3RE      = re.compile(u"^\\+\\+\\+(?!\\+) ?(?P<h3Content>" +
  41.         PlainCharacterPAT + ur"+?)\n",
  42.         re.DOTALL | re.UNICODE | re.MULTILINE)
  43. Heading2RE      = re.compile(u"^\\+\\+(?!\\+) ?(?P<h2Content>" +
  44.         PlainCharacterPAT + ur"+?)\n",
  45.         re.DOTALL | re.UNICODE | re.MULTILINE)
  46. Heading1RE      = re.compile(u"^\\+(?!\\+) ?(?P<h1Content>" +
  47.         PlainCharacterPAT + ur"+?)\n",
  48.         re.DOTALL | re.UNICODE | re.MULTILINE)
  49. # UrlRE           = re.compile(ur'(?:(?:wiki|file|https?|ftp|rel)://|mailto:)[^"\s<>]*',
  50. #         re.DOTALL | re.UNICODE | re.MULTILINE)  # SPN
  51. UrlRE           = re.compile(ur'(?:(?:wiki|file|https?|ftp|rel)://|mailto:)'
  52.         ur'(?:(?![.,;:!?)]+["\s])[^"\s<>])*(?:>\S+)?',
  53.         re.DOTALL | re.UNICODE | re.MULTILINE)  # SPN
  54.  
  55.  
  56.  
  57. TitledUrlRE =  re.compile(
  58.         ur"\[(?P<titledurlUrl>" + UrlRE.pattern + ur")"
  59.         ur"(?:(?P<titledurlDelim>[ \t]*" + TitleWikiWordDelimiterPAT + ur")"
  60.         ur"(?P<titledurlTitle>" + PlainCharacterPAT + ur"+?))?\]",
  61.         re.DOTALL | re.UNICODE | re.MULTILINE)
  62.  
  63.  
  64. # The following 2 are not in WikiFormatting.FormatExpressions
  65. BulletRE        = re.compile(ur"^(?P<indentBullet>[ \t]*)(?P<actualBullet>\*[ \t])",
  66.         re.DOTALL | re.UNICODE | re.MULTILINE)  # SPN
  67. NumericBulletRE = re.compile(ur"^(?P<indentNumeric>[ \t]*)(?P<preLastNumeric>(?:\d+\.)*)(\d+)\.[ \t]",
  68.         re.DOTALL | re.UNICODE | re.MULTILINE)  # SPN
  69.  
  70.  
  71. # WikiWords
  72. #WikiWordRE      = re.compile(r"\b(?<!~)(?:[A-Z\xc0-\xde\x8a-\x8f]+[a-z\xdf-\xff\x9a-\x9f]+[A-Z\xc0-\xde\x8a-\x8f]+[a-zA-Z0-9\xc0-\xde\x8a-\x8f\xdf-\xff\x9a-\x9f]*|[A-Z\xc0-\xde\x8a-\x8f]{2,}[a-z\xdf-\xff\x9a-\x9f]+)\b")
  73. #WikiWordRE2     = re.compile("\[[a-zA-Z0-9\-\_\s]+?\]")
  74.  
  75.  
  76. # TODO To unicode
  77.  
  78. UPPERCASE = mbcsDec(string.uppercase)[0]
  79. LOWERCASE = mbcsDec(string.lowercase)[0]
  80. LETTERS = UPPERCASE + LOWERCASE
  81.  
  82.  
  83. # # Pattern string for delimiter for search fragment after wiki word
  84. # WikiWordSearchFragDelimPAT = ur"#"
  85. # 
  86. # # Pattern string for search fragment itself
  87. # WikiWordSearchFragPAT = ur"(?:#.|[^ \t\n#])+"
  88.  
  89.  
  90. singleWikiWord    =          (ur"(?:[" +
  91.                              UPPERCASE +
  92.                              # "A-Z\xc0-\xde\x8a-\x8f"
  93.                              ur"]+[" +
  94.                              LOWERCASE +
  95.                              # "a-z\xdf-\xff\x9a-\x9f"
  96.                              ur"]+[" +
  97.                              UPPERCASE +
  98.                              # "A-Z\xc0-\xde\x8a-\x8f"
  99.                              ur"]+[" +
  100.                              LETTERS + string.digits +
  101.                              # "a-zA-Z0-9\xc0-\xde\x8a-\x8f\xdf-\xff\x9a-\x9f"
  102.                              ur"]*|[" +
  103.                              UPPERCASE +
  104.                              # "A-Z\xc0-\xde\x8a-\x8f"
  105.                              ur"]{2,}[" +
  106.                              LOWERCASE +
  107.                              # "a-z\xdf-\xff\x9a-\x9f"
  108.                              ur"]+)")
  109.  
  110. WikiWordRE      = re.compile(ur"\b(?<!~)" + singleWikiWord + ur"\b", # ur"(?:/" + singleWikiWord +
  111.                              # ur")*\b",
  112.                              re.DOTALL | re.UNICODE | re.MULTILINE)
  113.  
  114.  
  115. AnchorStart = ur"!"
  116. AnchorStartPAT = ur"!"
  117.  
  118. # Special version for syntax highlighting to allow appending search expression with '#'
  119. WikiWordEditorRE = re.compile(ur"(?P<wikiword>" + WikiWordRE.pattern +
  120.         ur")(?:#(?P<wikiwordSearchfrag>(?:(?:#.)|[^ \t\n#])+)|" + 
  121.         AnchorStartPAT + ur"(?P<wikiwordAnchorfrag>[A-Za-z0-9\_]+))?",
  122.         re.DOTALL | re.UNICODE | re.MULTILINE)
  123.  
  124.  
  125. # Only to exclude them from WikiWordRE2
  126. FootnoteRE     = re.compile(ur"\[[0-9]+?\]",
  127.         re.DOTALL | re.UNICODE | re.MULTILINE)
  128.  
  129.  
  130. # Pattern string for non camelcase wiki word
  131. WikiWordNccPAT = ur"[\w\-\_ \t]+?"
  132.  
  133.  
  134.  
  135. WikiWordRE2     = re.compile(ur"\[(?:" + WikiWordNccPAT + ur")\]",
  136.         re.DOTALL | re.UNICODE | re.MULTILINE)
  137.  
  138. # Special version for syntax highlighting to allow appending search expression with '#'
  139. # WikiWordEditorRE2      = re.compile(
  140. #         ur"\[(?P<wikiwordnccTitle>[^\]\|]+" + TitleWikiWordDelimiterPAT + ur"\s*)?"
  141. #         ur"(?P<wikiwordncc>" + WikiWordNccPAT + ur")\]"
  142. #         ur"(?:#(?P<wikiwordnccSearchfrag>(?:(?:#.)|[^ \t\n#])+))?",
  143. #         re.DOTALL | re.UNICODE | re.MULTILINE)
  144. WikiWordEditorRE2      = re.compile(
  145.         ur"\[(?P<wikiwordncc>" + WikiWordNccPAT + ur")"
  146.         ur"(?:(?P<wikiwordnccDelim>[ \t]*" + TitleWikiWordDelimiterPAT + ur")"
  147.         ur"(?P<wikiwordnccTitle>" + PlainCharacterPAT + ur"+?))?\]"
  148.         ur"(?:#(?P<wikiwordnccSearchfrag>(?:(?:#.)|[^ \t\n#])+)|" +
  149.         AnchorStartPAT + ur"(?P<wikiwordnccAnchorfrag>[A-Za-z0-9\_]+))?",
  150.         re.DOTALL | re.UNICODE | re.MULTILINE)
  151.  
  152. SearchFragmentUnescapeRE   = re.compile(ur"#(.)",
  153.                               re.DOTALL | re.UNICODE | re.MULTILINE)
  154.  
  155.  
  156. # For spell checking
  157. TextWordRE = re.compile(ur"(?P<negative>[0-9]+|"+ UrlRE.pattern + u"|" +
  158.         WikiWordRE.pattern + ur")|\b[\w']+",
  159.         re.DOTALL | re.UNICODE | re.MULTILINE)  # SP only
  160.  
  161.  
  162.  
  163. # parses the dynamic properties
  164. PropertyRE      = re.compile(ur"\[[ \t]*(?P<propertyName>[\w\-\_\.]+?)[ \t]*" +
  165.                   ur"[=:][ \t]*(?P<propertyValue>[\w\-\_ \t:;,.!?#/|]+?)\]",
  166.                   re.DOTALL | re.UNICODE | re.MULTILINE)
  167.  
  168.  
  169. # InsertionRE     = re.compile(ur"\[:[ \t]*(?P<insertionKey>[\w\-\_\.]+?)[ \t]*" +
  170. #                   ur"[:][ \t]*(?P<insertionValue>[\w\-\_ \t;,.!?#/|]+?)\]",
  171. #                   re.DOTALL | re.UNICODE | re.MULTILINE)
  172.  
  173. InsertionValueRE = re.compile(ur"(?:(?P<insertionValue>[\w][\w\-\_ \t,.!?#/|]*)|"
  174.                   ur"(?P<insertionQuoteStarter>\"+|'+|/+|\\+)"
  175.                   ur"(?P<insertionQuotedValue>.*?)(?P=insertionQuoteStarter))",
  176.                   re.DOTALL | re.UNICODE | re.MULTILINE)
  177.  
  178. InsertionAppendixRE = re.compile(ur";[ \t]*(?:"
  179.                   ur"(?P<insertionAppendix>[\w][\w\-\_ \t,.!?#/|]*)|"
  180.                   ur"(?P<insertionApxQuoteStarter>\"+|'+|/+|\\+)"
  181.                   ur"(?P<insertionQuotedAppendix>.*?)(?P=insertionApxQuoteStarter))",
  182.                   re.DOTALL | re.UNICODE | re.MULTILINE)
  183.  
  184. InsertionRE     = re.compile(ur"\[:[ \t]*(?P<insertionKey>[\w][\w\-\_\.]*)[ \t]*" +
  185.                   ur":[ \t]*(?P<insertionContent>" +
  186.                   InsertionValueRE.pattern +
  187.                   ur"(?:" + InsertionAppendixRE.pattern + ur")*)\]",
  188.                   re.DOTALL | re.UNICODE | re.MULTILINE)
  189.  
  190.  
  191. # Reverse REs for autocompletion
  192. revSingleWikiWord    =       (ur"(?:[" +
  193.                              LETTERS + string.digits +
  194.                              ur"]*[" +
  195.                              UPPERCASE+
  196.                              ur"])")
  197.  
  198. RevWikiWordRE      = re.compile(ur"^" + # revSingleWikiWord + ur"(?:/" +
  199.                              revSingleWikiWord + ur"(?![\~])\b",
  200.                              re.DOTALL | re.UNICODE | re.MULTILINE)  # SPN
  201.  
  202. RevWikiWordRE2     = re.compile(ur"^[\w\-\_ \t.]+?\[",
  203.         re.DOTALL | re.UNICODE | re.MULTILINE)  # SPN
  204.  
  205. RevPropertyValue     = re.compile(ur"^([\w\-\_ \t:;,.!?#/|]*?)([ \t]*[=:][ \t]*)([\w\-\_ \t\.]+?)\[",
  206.         re.DOTALL | re.UNICODE | re.MULTILINE)  # SPN
  207.  
  208.  
  209. # script blocks
  210. ScriptRE        = re.compile(u"\<%(.*?)%\>", re.DOTALL)
  211.  
  212. # Auto generated area
  213. AutoGenAreaRE = re.compile(ur"^([ \t]*<<[ \t]+)([^\n]+\n)(.*?)^([ \t]*>>[ \t]*\n)", re.DOTALL | re.LOCALE | re.MULTILINE)
  214.         
  215. # todos, captures the todo item text
  216. ## ToDoREWithContent = re.compile(u"^\s*((?:todo|action|track|issue|question|project)\\.?[^\\:\\s]*:[^\\r\\n]+)", re.MULTILINE)
  217.  
  218. ToDoREWithContent = re.compile(ur"\b(?P<todoIndent>)"    # ur"(?P<todoIndent>^[ \t]*)"
  219.         ur"(?P<todoName>(?:todo|done|wait|action|track|issue|question|project)(?:\.[^:\s]+)?)"
  220.         ur"(?P<todoDelimiter>:)(?P<todoValue>" + PlainCharacterPAT + ur"+?)(?:$|(?=\|))",
  221.         re.DOTALL | re.UNICODE | re.MULTILINE)
  222.  
  223. # todos, used in the tree control to parse saved todos. Because they were
  224. #   already identified as todos, the regexp can be quite simple
  225. ToDoREWithCapturing = re.compile(ur"^([^:\s]+):[ \t]*(.+?)$",
  226.         re.DOTALL | re.UNICODE | re.MULTILINE)
  227.  
  228.  
  229. # used to detect indent levels
  230.  
  231. # The following 2 are not in WikiFormatting.FormatExpressions
  232. EmptyLineRE     = re.compile(ur"^[ \t\r\n]*$",
  233.         re.DOTALL | re.UNICODE | re.MULTILINE)
  234.  
  235. HorizLineRE     = re.compile(u"----+", re.DOTALL | re.UNICODE | re.MULTILINE)
  236.  
  237. # suppression expression
  238. # Orig: SuppressHighlightingRE = re.compile("\<\<(.*?)\>\>", re.DOTALL)
  239. SuppressHighlightingRE = re.compile(ur"^(?P<suppressIndent>[ \t]*)<<[ \t]*\n"+
  240.         ur"(?P<suppressContent>.*?)\n[ \t]*>>[ \t]*$",
  241.         re.DOTALL | re.UNICODE | re.MULTILINE)
  242.  
  243. AnchorRE = re.compile(ur"^[ \t]*anchor:[ \t]*(?P<anchorValue>[A-Za-z0-9\_]+)\n",
  244.         re.DOTALL | re.UNICODE | re.MULTILINE)
  245.  
  246.  
  247. TableRowDelimiterPAT = ur"\n"
  248.  
  249. TableRE = re.compile(ur"(?P<tableBegin>^[ \t]*<<\|[ \t]*$)"
  250.         ur"(?P<tableContent>" + PlainCharacterPAT +
  251.         ur"*?)(?P<tableEnd>^[ \t]*>>[ \t]*$)",
  252.         re.DOTALL | re.UNICODE | re.MULTILINE)
  253.  
  254.  
  255. PreBlockRE = re.compile(ur"(?P<preBegin>^[ \t]*<<pre[ \t]*\n)"
  256.         ur"(?P<preContent>."         #  + PlainCharacterPAT +
  257.         ur"*?)(?P<preEnd>\n[ \t]*>>[ \t]*$(\n)?)",
  258.         re.DOTALL | re.UNICODE | re.MULTILINE)
  259.  
  260.